Chaloff est le fils du pianiste de l' Orchestre symphonique de Boston, Julius Chaloff, et de Margaret Chaloff, professeur de piano au Berklee College of Music et qui a eu entre autres comme élève Keith Jarrett, Steve Kuhn, Herbie Hancock et Richard Twardzik. Lui-même a étudié le piano et le saxophone avant de débuter comme musicien avec Boyd Raeburn et Georgie Auld. Il a acquis une certaine notoriété dés 1945 comme saxophoniste soliste de l'orchestre de Jimmy Dorsey. L'année suivante, il a intégré le second orchestre de Woody Herman dans lequel jouaient en particulier Stan Getz, Zoot Sims et Herbie Steward.

En 1947 il a enregistré ses premières pistes comme leader avec Red Rodney, Earl Swope, George Wallington, Curley Russell et Tiny Kahn. En raison de son addiction à l'héroïne, il est devenu au cours des années suivantes persona non grata sur la scène du jazz.

Vers 1950 Chaloff a eu l'occasion de jouer à New York avec Bud Powell et Earl Swope mais aucun enregistrement ne retrace cette période. En 1952 il est rentré à Boston et a joué avec Twardzik. Il a intégré le Steve Allen Show et a été le leader d'un orchestre de Jazzclub. C'est en 1954 qu'il a enregistré le disque The Fabel of Mabel avec Herb Pomeroy et Charlie Mariano et l'année suivante un disque avec Boots Mussulli.

En 1956 il a enregistré à Los Angeles l'album Blue Serge avec Sonny Clark, Leroy Vinnegar et Philly Joe Jones. À cette époque il était dans un fauteuil roulant, souffrant d’une tumeur de la colonne vertébrale.

Discographie

• The Fable of Mabel avec Nick Capazutto, Gene DiStachio, Buzzy Drootin, Russ Freeman, Marty Haritounian, Varty Haritounian, Charlie Mariano, Boots Mussulli, Ray Oliver, Herb Pomeroy, Richard Twardzik, Jimmy Woode, Jimmy Zitano, 1954
• Serge Chaloff and Boots Mussulli avec Buzzy Drootin, Russ Freeman, Boots Mussulli, Jimmy Woode, 1954
• Boston Blow-Up! avec Everett Evans, Boots Mussulli, Herb Pomeroy, Ray Santisi, Jimmy Zitano, 1955
• Serge Chaloff, 1955
• Blue Serge avec Sonny Clark, Philly Joe Jones, Leroy Vinnegar, 1956